由于监督学习模型的培训中的高成本和数据限制,自我监督学习(SSL)最近引起了很多关注。 SSL中的当前范式是利用输入空间的数据增强来创建相同图像的不同视图并训练模型以最大化相似图像之间的表示,并最大程度地减少它们的不同图像。尽管这种方法实现了最新的(SOTA),但仍会实现各种下游任务,但它仍然有机会调查潜在的空间扩展。本文提出了Trimix,这是SSL的一种新颖概念,该概念通过数据的线性插值生成虚拟嵌入,从而为模型提供了新的表示。我们的策略着重于训练模型,以从虚拟的嵌入中提取原始嵌入,从而更好地表示学习。此外,我们提出了一个自称术语,可以提高虚拟嵌入和实际嵌入之间的一致性。我们在八个基准数据集上验证了Trimix,这些数据集由天然和医学图像组成,提高了2.71%和0.41%,比两种数据类型的第二好的模型好。此外,我们的方法表现优于半监督学习中的当前方法,尤其是在低数据制度中。此外,我们的预训练模型显示出更好的传输到其他数据集。
translated by 谷歌翻译
在全球范围内,皮肤癌是最致命的疾病之一。每年有数百万人被诊断出患有这种癌症。窗台,早期检测可以大大降低药物成本和死亡率。最近使用深度学习方法的自动癌症分类的改进已经达到了需要在一个位置组装的大量注释数据的人级性能,但发现这种情况通常是不可行的。最近,已经提出联合学习(FL)以隐私保存的方式培训分散模型,具体取决于客户端的标记数据,通常不可用且昂贵。为了解决这个问题,我们提出了一个半监督联合学习方法的Fedperl。我们的方法是通过从教育心理学和委员会机器的平均的同伴学习的启发。 FedPerl基于客户的相似性构建社区。然后它鼓励社区成员彼此学习,以为未标记的数据生成更准确的伪标签。我们还提出了对PEER匿名化(PA)技术来提高隐私。作为我们方法的核心组件,PA与其他方法正交而无需额外复杂性并且在增强性能的同时降低通信成本。最后,我们提出了一种动态的同伴学习策略,可以控制学习流,以避免性能下的任何劣化,特别是对于各个客户端。我们的实验设置由来自5个公共数据集收集的71,000个皮肤病变图像组成。凭借很少的注释数据,Fedperl分别优于最先进的SSFL和基线,分别为1.8%和15.8%。此外,它将更好地概括为一个看不见的客户,同时对噪音不太敏感。
translated by 谷歌翻译
Uncertainty quantification is crucial to inverse problems, as it could provide decision-makers with valuable information about the inversion results. For example, seismic inversion is a notoriously ill-posed inverse problem due to the band-limited and noisy nature of seismic data. It is therefore of paramount importance to quantify the uncertainties associated to the inversion process to ease the subsequent interpretation and decision making processes. Within this framework of reference, sampling from a target posterior provides a fundamental approach to quantifying the uncertainty in seismic inversion. However, selecting appropriate prior information in a probabilistic inversion is crucial, yet non-trivial, as it influences the ability of a sampling-based inference in providing geological realism in the posterior samples. To overcome such limitations, we present a regularized variational inference framework that performs posterior inference by implicitly regularizing the Kullback-Leibler divergence loss with a CNN-based denoiser by means of the Plug-and-Play methods. We call this new algorithm Plug-and-Play Stein Variational Gradient Descent (PnP-SVGD) and demonstrate its ability in producing high-resolution, trustworthy samples representative of the subsurface structures, which we argue could be used for post-inference tasks such as reservoir modelling and history matching. To validate the proposed method, numerical tests are performed on both synthetic and field post-stack seismic data.
translated by 谷歌翻译
Several self-supervised representation learning methods have been proposed for reinforcement learning (RL) with rich observations. For real-world applications of RL, recovering underlying latent states is crucial, particularly when sensory inputs contain irrelevant and exogenous information. In this work, we study how information bottlenecks can be used to construct latent states efficiently in the presence of task-irrelevant information. We propose architectures that utilize variational and discrete information bottlenecks, coined as RepDIB, to learn structured factorized representations. Exploiting the expressiveness bought by factorized representations, we introduce a simple, yet effective, bottleneck that can be integrated with any existing self-supervised objective for RL. We demonstrate this across several online and offline RL benchmarks, along with a real robot arm task, where we find that compressed representations with RepDIB can lead to strong performance improvements, as the learned bottlenecks help predict only the relevant state while ignoring irrelevant information.
translated by 谷歌翻译
Generative models have been very successful over the years and have received significant attention for synthetic data generation. As deep learning models are getting more and more complex, they require large amounts of data to perform accurately. In medical image analysis, such generative models play a crucial role as the available data is limited due to challenges related to data privacy, lack of data diversity, or uneven data distributions. In this paper, we present a method to generate brain tumor MRI images using generative adversarial networks. We have utilized StyleGAN2 with ADA methodology to generate high-quality brain MRI with tumors while using a significantly smaller amount of training data when compared to the existing approaches. We use three pre-trained models for transfer learning. Results demonstrate that the proposed method can learn the distributions of brain tumors. Furthermore, the model can generate high-quality synthetic brain MRI with a tumor that can limit the small sample size issues. The approach can addresses the limited data availability by generating realistic-looking brain MRI with tumors. The code is available at: ~\url{https://github.com/rizwanqureshi123/Brain-Tumor-Synthetic-Data}.
translated by 谷歌翻译
We present Maknuune, a large open lexicon for the Palestinian Arabic dialect. Maknuune has over 36K entries from 17K lemmas, and 3.7K roots. All entries include diacritized Arabic orthography, phonological transcription and English glosses. Some entries are enriched with additional information such as broken plurals and templatic feminine forms, associated phrases and collocations, Standard Arabic glosses, and examples or notes on grammar, usage, or location of collected entry.
translated by 谷歌翻译
目标:探索深度学习算法进一步简化和优化尿道板(UP)质量评估的能力,使用板客观评分工具(POST),旨在提高Hypospadias修复中提高评估的客观性和可重复性。方法:五个关键的邮政地标是由专家在691图像数据集中的专家标记,该数据集接受了原发性杂质修复的青春期前男孩。然后,该数据集用于开发和验证基于深度学习的地标检测模型。提出的框架始于瞥见和检测,其中输入图像是使用预测的边界框裁剪的。接下来,使用深层卷积神经网络(CNN)体系结构来预测五个邮政标记的坐标。然后,这些预测的地标用于评估远端催化性远端的质量。结果:所提出的模型准确地定位了gan区域,平均平均精度(地图)为99.5%,总体灵敏度为99.1%。在预测地标的坐标时,达到了0.07152的归一化平均误差(NME),平均平方误差(MSE)为0.001,在0.1 nme的阈值下为20.2%的故障率。结论:此深度学习应用程序在使用邮政评估质量时表现出鲁棒性和高精度。使用国际多中心基于图像的数据库进行进一步评估。外部验证可以使深度学习算法受益,并导致更好的评估,决策和对手术结果的预测。
translated by 谷歌翻译
地震数据中的噪声来自许多来源,并且正在不断发展。使用监督的深度学习程序来降级地震数据集通常会导致性能差:这是由于缺乏无噪声的现场数据来充当训练目标以及合成数据集和现场数据集之间特性的巨大差异。自我监督,盲点网络通常通过直接在原始嘈杂的数据上训练来克服这些限制。但是,这样的网络通常依赖于随机噪声假设,并且在存在最小相关的噪声的情况下,它们的降解能力迅速降低。从盲点延伸到盲面可以有效地沿特定方向抑制连贯的噪声,但不能适应噪声的不断变化的特性。为了抢占网络预测信号并减少其学习噪声属性的机会的能力,我们在以自欺欺人的方式进行微调的方式,在节俭生成的合成数据集上对网络进行初始监督的培训。感兴趣的数据集。考虑到峰值信噪比的变化以及观察到的噪声量减少和信号泄漏的体积,我们说明了从监督的基础训练中的权重来初始化自我监督网络的明显好处。通过在字段数据集上进行的测试进一步支持,在该数据集中进行了微调网络在信号保存和降低噪声之间达到最佳平衡。最后,使用不切实际的,节俭生成的合成数据集用于监督的基础培训包括许多好处:需要最少的先验地质知识,大大降低了数据集生成的计算成本,并减少了重新训练的要求。网络应记录条件更改,仅举几例。
translated by 谷歌翻译
胆道是一个管网络,将肝脏与胆囊连接到胆囊,这是一个正下方的器官。胆管是胆汁树中的主要管。胆管的扩张是人体中更多主要问题的关键指标,例如石头和肿瘤,这些问题通常是由胰腺或Vater的乳头状引起的。在许多情况下,胆管扩张的检测对于初学者或未经训练的医务人员来说可能具有挑战性。即使是专业人士也无法用肉眼检测到胆管扩张。这项研究提出了一种基于视觉的独特模型,用于初始诊断。为了从磁共振图像分割胆道树,框架使用了不同的图像处理方法(MRI)。在对图像的感兴趣区域进行了细分后,对其进行了许多计算,以提取10个特征,包括主要轴和次要轴,胆管区域,胆汁树面积,紧凑性和某些纹理特征(对比度,平均值,方差和相关性)。这项研究使用了约旦安曼国王侯赛因医学中心的图像数据库,其中包括200张MRI图像,100例正常病例和100例胆管扩张的患者。提取特征后,使用各种分类器来确定患者的健康状况(正常或扩张)。研究结果表明,提取的特征在曲线下的准确性和面积方面与所有分类器都很好。这项研究的独特之处在于,它使用自动方法从MRI图像中分割胆汁树,并且科学地将检索到的特征与胆道树状态相关联,而文献中从未做过。
translated by 谷歌翻译
随着COVID-19现在普遍存在,对高危个体的识别至关重要。利用来自宾夕法尼亚州西南部主要医疗保健提供者的数据,我们开发了预测严重Covid-19进展的生存模型。在这项工作中,我们在依赖许多功能的更准确模型和依赖一些与临床医生直觉相一致的功能的模型之间面临一个权衡。使事情变得复杂,许多EHR功能往往较低,从而降低了较小模型的准确性。在这项研究中,我们开发了两组高性能风险评分:(i)由所有可用功能构建的无约束模型;(ii)在训练风险预测因子之前,在培训风险预测因子之前就学习一小部分临床概念的管道。学到的概念提高了相应特征(C-Index 0.858 vs. 0.844)的性能,并在评估样本外(随后的时间段)时证明了(i)的改进。我们的模型表现优于先前的工作(C-Index 0.844-0.872 vs. 0.598-0.810)。
translated by 谷歌翻译